Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity
自进化Agent Harness框架:基于语义质量多样性的可信增益
🧭 Agent自进化 · 质量多样性搜索 ★ 深度解读
EverMind AI · Shanda Group
将修改提议与可信度评估分离,通过统计检验和质量多样性归档实现harness稳健演化,跨七领域密封测试增益+9~+15.5pp
📌 工作参考价值(4 点)
- 可信的Harness优化闭环:把提示、知识注入、控制流等harness编辑的评估从模型自身剥离,用配对2σ显著性检验在密封测试集上判定增益,部署时可杜绝“幻觉式改进”,适合要求严苛的电商/搜索Agent运维。
- 病理学驱动的归档(GSME):按*(where×why)*(编辑位置×失败原因)维护精英补丁库,支持跨细胞重组,防止搜索坍缩到安全提示微调。在搜索推荐Agent开发中,可借鉴此结构持续积累针对特定失败模式(如过早结束、空 turn)的修复方案。
- 诊断与信用分离模式:强模型负责诊断和提出补丁,确定性代码负责采样、门控和统计检验,这降低了模型错误判断的风险,适合在Agent pipeline中构建自动化的自我改进模块。
- 跨模型病理-补丁匹配规律:发现harness增益高度依赖模型自身的失败分布,同一病理可能跨模型家族重现。在多模型部署场景下,可复用*诊断-信用*循环,快速为不同基座模型定制harness,而不是盲搬同一套配置。